description: Инструкция как сформировать файл конфига для пресетов
type: howtos
doc_status: ready (нужно ревью)
How to create a config for presets
Слева на экране появится панель разработчика. Здесь нужно зайти в раздел “Сеть” (Network).
После того как зашли в раздел “Сеть” (Network) необходимо обновить страницу.
Затем в ФИЛЬТР в панели разработчика вбиваем слово get
и нажимаем Enter
.
После этого в панели чуть ниже появится список. В нём нужно выбрать третий сверху “get” и в окошке справа от “get” выбрать раздел “Ответ”. В нём и будет находится нужный нам json с конфигурацией соединения. Выделяем всё и копируем.
За создание Airbyte Connection отвечает DAG create_connections.
Список параметров, которые будут заполнятся автоматически, меняется от источника к источнику, но в целом это:
То есть вся конфиденциальная информация.
Также заменяем на звёздочки "sourceDefinitionId", т.к. этот id будет генерироваться DAG-ом в Airflow.
Пример пресета с добавлением разделов entities
, links
и pipeline
:
{
<...>
"source_presets": {
"appmetrica_default":
{
"connectionId": "*****",
"name": "appmetrica_default_ → default",
"namespaceDefinition": "destination",
"namespaceFormat": "${SOURCE_NAMESPACE}",
"prefix": "appmetrica_default_",
"sourceId": "******",
"destinationId": "*****",
"entities": ["Account", #ТУТ ПРИВОДИМ СПИСОК СУЩНОСТЕЙ
"AdSource",
"UtmParams",
"UtmHash",
"CrmUser",
"PromoCode",
"City",
"MobileAdsId",
"OsName",
"Transaction",
"AppMetricaDevice",
"AppMetricaDeviceId",
"AppSession"],
"links": ["AppEventStat", #ТУТ ПРИВОДИМ СПИСОК ЛИНКОВ
"AppDeeplinkStat",
"AppProfileMatching",
"AppInstallStat"],
"syncCatalog": {
"streams": [
{
"stream": {
"name": "events",
"pipeline": "events", #ТУТ УКАЗЫВАЕМ НАЗВАНИЕ ПАЙПЛАЙНА
"jsonSchema": {
"$schema": "http://json-schema.org/draft-07/schema#",
"type": "object",
"properties": {
"google_aid": {
"type": [
"null",
"string"
]
},
<...>
}
directintegration_presets
Этот раздел содержит сведения о прямых интеграциях.
Пример раздела:
{ "directintegration_presets": {
"example1": {
"scheme": "название схем в кликхаусе",
"table": "название таблицы",
"fields": ["field1", "field2", "field3"],
"entities": ["entity1", "entity2"]
}
},
<...>